时序自蒸馏：无监督学习视频视觉状态跟踪
🧭 自监督时序自蒸馏训练视频状态跟踪
Mohamed bin Zayed University of Artificial Intelligence · ELLIS Institute Finland · Aalto University
用时间采样密度作为自监督信号，让稀疏帧学生匹配稠密帧教师的 next-token 分布，无需标签或额外教师即可提升视频状态跟踪
📌 工作参考价值（4 点）
- 视频/直播电商场景：对商品展示、使用过程、库存/数量变化等短视频，用稠密帧采样的同模型输出蒸馏稀疏帧模型，可在不增加线上推理成本的前提下提升状态/数量判断；souping/轻量视觉编码器适配可作为后续增强手段。
- 无标签数据利用：可以低成本生成合成 clip（物体颜色、数量、位置变化），用 S3T 式的自监督时序蒸馏预训练视频理解模块，再迁移到真实 UGC/广告素材的内容审核或卖点提取。
- Agent/多模态 LLM 训练：如果业务中有连续视频流（如智能客服/导购 Agent 看商品视频），将时间采样密度作为特权信息，让同一模型在自己的稠密/稀疏视图间做 next-token 分布蒸馏，不需要额外 judge，能提升跨时间状态跟踪，且不增加部署成本。
- 如果要改进现有 VLM 在电商视频问答上的表现，可优先考虑对视觉编码器做小规模适配+权重 soup，而非重新训练；论文显示这些组合能稳定提升状态跟踪。
LeVJEPA：无需启发式的高效可扩展视频预训练
🧭 高效视频自监督预训练 · 无坍塌目标
German Cancer Research Center · Mila · Université de Montréal · Brown University · Advanced Machine Intelligence (AMI Labs)
首个在 LeJEPA 无坍塌目标下训练的视频编码器，用 token dropping 与 block-causal attention 大幅降低预训练算力
📌 工作参考价值（4 点）
- uniform random token dropping 能同时降低注意力序列长度和提升下游指标，可直接迁移到电商短视频/直播内容或用户行为序列的预训练：在 Transformer 输入前按固定比例随机丢弃 token，无需重要性采样，工程实现简单。
- SIGReg 的 collapse-free 单分支目标替代 EMA target encoder + stop-gradient + predictor，可简化多模态/行为序列对比学习架构，减少显存与超参；若团队在用 Two-tower 或 CLIP 式预训练，可尝试用带正则的 invariance loss 去掉动量编码器。
- block-causal attention 让帧表示只依赖过去观测而几乎不损失精度，适合直播流式场景或推荐中的时序行为建模：使用块级 causal mask 可避免未来信息泄漏，并使模型支持在线推理。
- 若已有商品视频/直播数据，token dropping 后的视频预训练在匹配 FLOPs 下接近图像预训练的 appearance 指标，且 motion 指标近乎翻倍，可考虑用视频底座替代静态图底座，增强对动态商品展示的理解。
聆听向前：下一 Patch 嵌入预测实现可扩展音频学习器
🧭 自监督音频表征 · 下一 patch 预测
Imperial College London · University of Surrey
用因果 Transformer 预测下一 patch embedding，极简自监督在音频任务达到 SOTA
📌 工作参考价值（4 点）
- 用户行为序列预训练可借鉴 NAPE 的「下一 embedding 预测」：将行为序列切块后，用因果 Transformer 预测下一步用户/item embedding，配合 stop-gradient 避免表征坍塌，无需构建离散 Semantic ID 或重建 item 特征，大幅降低工程复杂度。
- 现有推荐 SSL 常依赖对比学习+掩码重建+teacher-student 等多重目标，NAPE 证明仅自回归前向预测 + stop-gradient 即可学出强表征，可作为轻量预训练 baseline，减少超参调优和训练成本。
- 因果掩码天然适配流式增量训练，适合电商/广告的实时序列建模；同时自回归预测下一 embedding 可直接作为在线学习辅助任务，无需等待完整序列即可更新表征。
- log-mel patch 切分思路可迁移到商品多模态序列（如短视频帧、商品描述片段），统一用预测下一 patch embedding 做跨模态预训练，简化多模态对齐流程。
音乐共创智能体的层次化自监督世界模型
🧭 层次化自监督世界模型 · 音乐生成
Department of Chemistry & Physics, Belmont University
层次化自监督表征使音乐理解与生成解耦，小模型结合流匹配实现实时可交互的共创建议
📌 工作参考价值（4 点）
- 层次化自监督表征学习可用于序列推荐：粗粒度层级对应长期兴趣（如主题、品类偏好），细粒度层级捕捉短期具体意图（如品牌、价格敏感度），JEPA 的平移等变目标可增强时序泛化，适合电商用户行为建模。
- RAE + 流匹配的轻量生成框架：可将物品 Semantic ID 经 PCA 压缩后作为条件，用流匹配生成推荐序列，层级条件丢弃技巧直接控制推荐结果的多样性与相关性平衡，无需额外采样器。
- 小模型（2.55M）CPU 推理 2.8s 的工程启示：对边缘设备或低延迟推荐 Agent 友好，可考虑用层次化浅层 Swin 编码器替代 Transformer 以压缩推理成本。
- 和弦监督头提升无监督调性检测的现象类比：在推荐中，少量有监督辅助任务（如类目预测）能显著增强无属性标签的冷启动物品表征，值得设计多任务头共享主干。
PhiZero：基于物理语言的物理世界模型
🧭 物理世界建模 · 离散视觉表示
NLPR, Institute of Automation, Chinese Academy of Sciences (CASIA)
从野生视频自监督学习紧凑离散物理语言，先推理后渲染实现物理一致生成与零样本动作迁移
📌 工作参考价值（4 点）
- 将连续动态抽象为离散 token 序列的思路可迁移至用户行为建模：用 vector quantized 方式学习行为语义 ID，在紧凑空间内捕捉状态转移规律，降低下游序列预测的复杂度。
- 自监督学习“物理语言”的方法对无标注交互数据的表征学习有启发：从原始点击/购买序列中挖掘隐含因果结构，无需昂贵标注即可获得可推理的隐状态表示。
- “推理-渲染”分离的架构可拆解推荐系统：先由 Planner 生成抽象行为序列，再交由 Renderer 生成具体推荐内容，提升可解释性并支持可控生成。
- 主要贡献在物理世界建模，直接迁移至电商推荐场景的工程化价值有限，更多是概念层面的借鉴。
面向对象的 LeJEPA：利用 SAM 掩码实现数据高效的自监督学习
🧭 自监督对象中心表示学习
Biomedical Image Computing Group, ETH Zurich
用现成 SAM 对象掩码代替场景级对齐，搭配实例分离损失，大幅提升小数据下的视觉表示质量
📌 工作参考价值（4 点）
- 商品图像预训练：当你用自监督预训练商品图时，直接用 COCO 等通用数据可能效率不高；借鉴对象级 LeJEPA，用 SAM 自动提取商品主体 mask，只在对象区域进行对比，能更快学到细致特征，对小样本商品分类或相似款识别有效。
- 多商品场景分离：如果你做搭配推荐或店铺风格理解，一张图里有多件商品，实例分离损失（同图其他对象当负例）能强制每个商品特征相互远离，避免特征混淆，可复用到多兴趣用户向量或穿搭组合建模中。
- 伪掩码辅助训练：迁移其“廉价先验”思路——不追求端到端联合发现对象，直接用现成分割模型（如商品分割 API）生成伪标签，降低训练不稳定性和工程复杂度，在商品表示学习时快速落地。
- 数据效率验证：论文在 10% COCO 上仍显著优于全量图像级模型，提示你在标注稀缺的垂直行业（如小众品类、UGC 商品图）先用自监督预训练再微调，就可能得到较好基座。
自适应掩码图嵌入提升图检索增强生成效果
🧭 图检索增强生成对齐 · 自适应掩码预训练
OMRON Corporation · OMRON SINIC X Corporation
提出自适应掩码图嵌入AGE，通过可学习节点采样器避开关键节点对齐图与文本特征，显著提升GraphRAG问答准确率。
📌 工作参考价值（4 点）
- 在电商知识图谱问答或商品搜索中，可借鉴AGE的图嵌入对齐方法：用类似文本编码器的Transformer预训练图节点嵌入，与LLM文本空间对齐，提升GraphRAG检索召回。
- 可学习节点采样器识关键节点：对推荐场景中如品牌、类目等关键实体，自适应避免掩码它们，提高嵌入学习的鲁棒性，适合大规模商品图谱。
- 非参数搜索组件与冻结LLM结合，无需微调，降低部署成本，适合电商快速迭代和A/B实验。
- 图数据预处理阶段加入自适应掩码预训练，可作为召回或特征生成步骤，融入现有RAG流程，改善商品关联和语义理解。
不确定性引导的未来学习增强序列推荐
🧭 序列推荐 · 未来监督 · 不确定性估计 ★ 深度解读
City University of Hong Kong · Shenzhen Technology University · Peking University · Huazhong University of Science and Technology
提出不确定感知框架，根据模型对当前预测的置信度动态调节多步未来监督权重，显著提升序列推荐性能
📌 工作参考价值（4 点）
- 自适应未来监督权重：用当前预测的熵计算实例级权重，对不确定样本降低未来监督强度，避免噪声注入。可直接复用到电商序列模型的训练中，尤其适合用户行为稀疏或点击噪声多的场景。
- 零推理开销的辅助训练：未来监督和对比学习仅作为训练期正则化，推理时完全移除，不增加线上延时。业务中可放心加入未来辅助任务，不影响部署效率。
- 未来对比学习对齐全局趋势：将未来K个物品的嵌入做平均池化作为“未来视野”正样本，与当前用户表示对齐，然后区分其他用户的未来视野。这种全局偏好对齐可强化用户长期兴趣的建模，适合长周期购买决策的商品推荐。
- 模型无关的即插即用设计：框架可集成到Transformer、LLM增强等不同骨干结构上，实验表明对SASRec、DuoRec、LLM-ESR均有稳定提升，适合在现有推荐系统中快速尝试。